Grosso sinh ở Chieti. Sau một vài mùa giải với Renato Curi (Pescara), một đội bóng nhỏ trong khuôn khổ giải hạng nhất Abruzzo, Grosso trở thành cầu thủ chuyên nghiệp khi gia nhập Chieti chơi ở Serie C2. Lúc này anh là một tiền vệ tấn công, và ghi 17 bàn sau 68 lần xuất hiện. Sau đó anh gia nhập Perugia để chơi ở Serie A vào năm 2001, và lần đầu tiên khoác màu áo thiên thanh vào năm 2003. Tại Perugia anh được huấn luyện viên Serse Cosmi cho chơi ở vị trí hậu vệ cánh trái. Grosso chuyển qua Palermo hồi tháng 1 năm 2004, khi đội này vừa rớt xuống Serie B.

Grosso là một hậu vệ cánh trái, anh cũng có thể chơi tốt ở vị trí hậu vệ công. Anh còn có khả năng sút phạt trực tiếp tốt.

Grosso gia nhập Inter Milan với giá chuyển nhượng 5.5 triệu Euro vào ngày 6 tháng 6 năm 2006.

Tới ngày 8 tháng 7 năm 2007, Grosso ký một hợp đồng thời hạn 4 năm với câu lạc bộ Pháp Olympique Lyonnais sau khi vượt qua một số thủ tục. Lúc này anh khoác áo số 11.[3]

Ngày 01/09/2009, Fabio Grosso đã ký hợp đồng có thời hạn 03 năm với Juventus. Mức phí chuyển nhượng là 2 triệu euro và Juventus sẽ trả thêm 1 triệu euro nữa nếu Fabio Grosso thi đấu thành công. Fabio Grosso được trao cho chiếc áo số 6, số áo của huyền thoại Gaetano Scirea.